Thorough testing of safety-critical autonomous systems, such as self-driving cars, autonomous robots, and drones, is essential for detecting potential failures before deployment. One crucial testing stage is model-in-the-loop testing, where the system model is evaluated by executing various scenarios in a simulator. However, the search space of possible parameters defining these test scenarios is vast, and simulating all combinations is computationally infeasible. To address this challenge, we introduce AmbieGen, a search-based test case generation framework for autonomous systems. AmbieGen uses evolutionary search to identify the most critical scenarios for a given system, and has a modular architecture that allows for the addition of new systems under test, algorithms, and search operators. Currently, AmbieGen supports test case generation for autonomous robots and autonomous car lane keeping assist systems. In this paper, we provide a high-level overview of the framework's architecture and demonstrate its practical use cases.
translated by 谷歌翻译
上下文:突变测试(MT)是传统软件工程(SE)白盒测试的重要工具。它旨在在系统中人为地注入故障,以评估测试套件检测它们的能力,假设检测套件缺陷查找功能将转化为实际故障。如果长期以来在SE中使用了MT,那么直到最近它才开始引起深度学习(DL)社区的注意,研究人员将其调整以提高DL模型的可检验性并提高DL系统的可信度。目的:如果提出了几种针对MT的技术,则大多数技术忽略了训练阶段固有的DL的随机性。即使是DL中最新的MT方法,它建议通过统计方法解决MT,也可能会带来不一致的结果。确实,由于它们的统计数据基于固定的采样培训实例,因此在任何情况下都应一致的情况下,它可能会导致在设置中的不同结果。方法:在这项工作中,我们提出了一种概率突变测试(PMT)方法,以减轻不一致的问题,并可以更加一致地决定突变体是否被杀死。结果:我们表明,PMT有效地通过使用三个模型和八个突变算子在先前提出的MT方法中评估来有效地对突变做出更一致和知情的决定。我们还分析了近似错误和方法成本之间的权衡,这表明可以以可管理的成本来实现相对较小的错误。结论:我们的结果表明,DNN当前的MT实践的局限性以及重新考虑它们的需求。我们认为,PMT是朝着该方向迈出的第一步,可以有效消除由DNN训练的随机性引起的先前方法的测试执行的一致性。
translated by 谷歌翻译
如今,由于最近在人工智能(AI)和机器学习(ML)中的近期突破,因此,智能系统和服务越来越受欢迎。然而,机器学习不仅满足软件工程,不仅具有有希望的潜力,而且还具有一些固有的挑战。尽管最近的一些研究努力,但我们仍然没有明确了解开发基于ML的申请和当前行业实践的挑战。此外,目前尚不清楚软件工程研究人员应将其努力集中起来,以更好地支持ML应用程序开发人员。在本文中,我们报告了一个旨在了解ML应用程序开发的挑战和最佳实践的调查。我们合成从80名从业者(以不同的技能,经验和应用领域)获得的结果为17个调查结果;概述ML应用程序开发的挑战和最佳实践。参与基于ML的软件系统发展的从业者可以利用总结最佳实践来提高其系统的质量。我们希望报告的挑战将通知研究界有关需要调查的主题,以改善工程过程和基于ML的申请的质量。
translated by 谷歌翻译
深度学习(DL)框架现在被广泛使用,简化了复杂模型的创建以及它们对各种应用的集成甚至到非DL专家。但是,就像任何其他程序一样,他们容易发生错误。本文与命名静默错误的错误分类:它们会导致错误的行为,但它们不会导致系统崩溃或挂起,也不会向用户显示错误消息。这种错误在DL应用程序和框架中更危险,因为系统的“黑匣子”和系统的随机性质(最终用户无法理解模型如何做出决定)。本文介绍了Keras和Tensorflow Silent错误的第一个实证研究,以及它们对用户节目的影响。从Tensorflow Github存储库中提取与KERA相关的封闭问题。在我们收集的1,168个问题中,77个影响了影响用户程序的可重复静音错误。我们根据“用户程序的影响”和“发生问题”的“发生问题的组件”归类错误。然后,我们根据用户程序的影响,我们为每个问题派生威胁级别。为了评估所确定的类别和影响规模的相关性,我们使用103个DL开发人员进行了在线调查。参与者普遍同意DL库中静音错误的重大影响,并承认了我们的研究结果(即,沉默错误的类别和拟议的影响量表)。最后,利用我们的分析,我们提供了一套指导方针,以促进对DL框架中的这些错误的保护。
translated by 谷歌翻译
The emergence of latency-critical AI applications has been supported by the evolution of the edge computing paradigm. However, edge solutions are typically resource-constrained, posing reliability challenges due to heightened contention for compute and communication capacities and faulty application behavior in the presence of overload conditions. Although a large amount of generated log data can be mined for fault prediction, labeling this data for training is a manual process and thus a limiting factor for automation. Due to this, many companies resort to unsupervised fault-tolerance models. Yet, failure models of this kind can incur a loss of accuracy when they need to adapt to non-stationary workloads and diverse host characteristics. To cope with this, we propose a novel modeling approach, called DeepFT, to proactively avoid system overloads and their adverse effects by optimizing the task scheduling and migration decisions. DeepFT uses a deep surrogate model to accurately predict and diagnose faults in the system and co-simulation based self-supervised learning to dynamically adapt the model in volatile settings. It offers a highly scalable solution as the model size scales by only 3 and 1 percent per unit increase in the number of active tasks and hosts. Extensive experimentation on a Raspberry-Pi based edge cluster with DeFog benchmarks shows that DeepFT can outperform state-of-the-art baseline methods in fault-detection and QoS metrics. Specifically, DeepFT gives the highest F1 scores for fault-detection, reducing service deadline violations by up to 37\% while also improving response time by up to 9%.
translated by 谷歌翻译
大脑区域之间的功能连通性(FC)通常是通过应用于功能磁共振成像(FMRI)数据的统计依赖度量来估计的。所得的功能连接矩阵(FCM)通常用于表示脑图的邻接矩阵。最近,图形神经网络(GNN)已成功应用于FCM,以学习脑图表示。但是,现有GNN方法的一个普遍局限性是,它们要求在模型训练之前知道图形邻接矩阵。因此,隐含地假设数据的基础依赖性结构已知。不幸的是,对于fMRI而言,情况并非如此,因为哪种统计度量的选择最能代表数据的依赖性结构是非平凡的。同样,大多数GNN应用于功能磁共振成像,FC都会随着时间的推移而静态,这与神经科学的证据相反,表明功能性脑网络是随时间变化且动态的。这些复合问题可能会对GNN学习脑图表示的能力产生不利影响。作为解决方案,我们提出了动态大脑图结构学习(DBGSL),这是一种学习fMRI数据最佳时变依赖性结构的监督方法。具体而言,DBGSL通过应用于大脑区域嵌入的时空注意力从fMRI时间表中学习了动态图。然后将所得的图馈送到空间GNN中,以学习分类的图表。大型休息状态以及性别分类任务的fMRI数据集的实验表明,DBGSL可以实现最新的性能。此外,对学习动态图的分析突出了与现有神经科学文献的发现相符的预测相关大脑区域。
translated by 谷歌翻译
Edge Federation是一种新的计算范式,无缝地互连多个边缘服务提供商的资源。此类系统中的一个关键挑战是在受约束设备中部署基于延迟和AI的资源密集型应用程序。为了应对这一挑战,我们提出了一种新型的基于记忆有效的深度学习模型,即生成优化网络(GON)。与甘斯不同,成人使用单个网络既区分输入又生成样本,从而大大降低了它们的内存足迹。利用奇数的低内存足迹,我们提出了一种称为Dragon的分散性故障耐受性方法,该方法运行模拟(按照数字建模双胞胎)来快速预测和优化边缘联邦的性能。在多个基于Raspberry-Pi的联合边缘配置上使用现实世界边缘计算基准测试的广泛实验表明,龙可以胜过故障检测和服务质量(QOS)指标的基线方法。具体而言,所提出的方法给出了与最佳深度学习方法(DL)方法更高的F1分数,而与启发式方法相比,记忆力较低。这使得违反能源消耗,响应时间和服务水平协议分别提高了74%,63%和82%。
translated by 谷歌翻译
开发预测灾难性自然现象的方法比以往任何时候都更为重要,龙卷风是自然界中最危险的。由于天气的不可预测性,抵消它们并不是一件容易的事,如今,它主要由专家气象学家(解释气象模型)进行。在本文中,我们提出了一个用于早期检测龙卷风的系统,验证了其在现实世界中的有效性,并利用已经在全球广泛普遍存在的气象数据收集系统。我们的系统能够预测龙卷风,最大概率为84%,直到活动前五天,在一个新颖的数据集中,有5000多个龙卷风和非龙卷风事件。数据集和复制我们的结果的代码可在以下网址获得:https://tinyurl.com/3brsfwpk
translated by 谷歌翻译
最近,已经提出了使用代理模型的智能调度方法,以便在异构雾环境中有效地分配易失性任务。确定性代理模型,深神经网络(DNN)和基于梯度的优化等进步允许达到低能量消耗和响应时间。然而,确定估计优化的客观值的确定性代理模型,不考虑可以导致高服务级别协议(SLA)违规率的服务质量(QoS)目标函数的不确定性。此外,DNN训练的脆性性质,防止这些模型达到最小的能量或响应时间。为了克服这些困难,我们提出了一种新的调度程序:GOSH I.E.使用二阶衍生物和异源塑料深层代理模型的梯度优化。 GOSH使用二阶梯度基于基于梯度的优化方法来获得更好的QoS并减少迭代的次数,以收敛到调度决定,随后降低调度时间。 GOSH而不是Vanilla DNN,使用自然参数网络来近似客观分数。此外,较低的置信度优化方法可以通过采用基于误差的探索来在贪婪最小化和不确定性降低之间找到最佳权衡。因此,GOSH及其共模的扩展GOSH *可以快速调整并达到比基线方法更好的客观评分。我们表明GOSH *达到比GOSH更好的客观分数,但它仅适用于高资源可用性设置,而GOSH则适用于有限的资源设置。 GOSH和GOSH的真实系统实验*在能源消耗,响应时间和SLA分别违反最多18,27和82%的情况下,对最先进的技术进行了显着改善。
translated by 谷歌翻译
工作流程调度是一个并行和分布式计算(PDC)的长期研究,旨在有效地利用计算资源来满足用户的服务要求。最近提出的调度方法利用边缘计算平台的低响应时间来优化服务质量(QoS)。然而,由于计算异质性,移动设备的延迟以及工作负载资源要求的挥发性,因此由于计算异质性而挑战,在移动边缘云系统中的调度工作流程应用是具有挑战性的。为了克服这些困难,它是必不可少的,但同时具有挑战性,开发一种有效地模拟QoS目标的长视力优化方案。在这项工作中,我们提出了MCDS:Monte Carlo学习使用Deep代理模型来有效地安排移动边缘云计算系统中的工作流程应用。 MCD是一种基于人工智能(AI)的调度方法,它使用基于树的搜索策略和基于深度神经网络的代理模型来估计即时动作的长期QoS影响,以实现调度决策的鲁棒优化。物理和模拟边缘云试验台的实验表明,MCD在能耗,响应时间,SLA违规方面可以改善最先进的方法,违规和成本分别至少为6.13,4.56,45.09和30.71%。
translated by 谷歌翻译